Năm 26, Sầm đánh bại Lưu Gia, chiếm lĩnh Nam Trịnh thuộc quận Hán Trung (có lẽ ông theo Lưu Gia vào Hán Trung). Tháng 2, tự xưng Vũ An vương. Sầm đuổi theo Lưu Gia, theo hướng tây bắc vào quận Vũ Đô, bị Trụ Công hầu Lý Bảo (thuộc chính quyền Canh Thủy) đánh bại, chạy về hướng quận Thiên Thủy. Lưu Gia, Lý Bảo giành lại Nam Trịnh từ tay Công Tôn Thuật, đến đóng đồn ở Hà Trì thuộc Vũ Đô, rồi tiến xuống Biện, cùng Sầm giao chiến. Ông vào Tán Quan đến Tam Phụ, bị Lưu, Lý bắt kịp ở Trần Thương thuộc quận Phù Phong. Sầm thua trận ở phía tây Trường An, chạy theo hướng đông đến Đỗ Lăng thuộc Kinh Triệu Doãn. Lưu, Lý quay sang tấn công quân khởi nghĩa Xích Mi ở phụ cận Trường An. Tháng 9, Sầm và Lý Bảo liên hiệp đánh bại tướng Xích Mi là Bàng An ở Đỗ Lăng. Sau đó ông đẩy lui Đại tư đồ Đặng Vũ ở Lam Điền thuộc Kinh Triệu Doãn.

Tháng 4 năm sau (27), Sầm bị tướng Hán là Phùng Dị đánh bại ở Thượng Lâm Uyển thuộc quận Hữu Phù Phong. Sau đó Dị lại liên hiệp với Đặng Diệp, Vu Khuông đánh bại ông ở huyện Tích thuộc quận Hoằng Nông. Tháng 6, tướng Hán là Cảnh Yểm đánh bại Sầm ở huyện Nhương thuộc quận Nam Dương. Mặc dù ông chưa thua trận nào quá nặng, không rõ vì sao lại quy thuận thủ lĩnh quân phiệt ở huyện Kỵ (hoặc Kỳ, xem bài viết Tần Phong) thuộc Nam quận là Sở Lê vương Tần Phong, cùng thủ lĩnh quân phiệt ở Di Lăng thuộc quận Nam Dương là Điền Nhung được Phong gả con gái. Cuối năm, Sầm cùng bộ tướng của Tần Phong là Trương Thành bị Chu Hỗ, Thái Tuân đánh bại ở Đông Dương tụ (làng), huyện Dục Dương thuộc quận Nam Dương, Thành tử trận, ông chạy về chỗ Tần Phong.

Tháng 2 năm 28, Sầm đánh Thuận Dương thuộc quận Nam Dương, ở huyện Đặng giao chiến với Đặng Diệp, Vu Khuông dưới sự chỉ huy của Đặng Vũ, thất bại. Ông chạy đến phía bắc Vũ Đương thuộc quận Nam Dương thì bị bắt kịp, lại thua, trốn đi Hán Trung.